Prototypicality effects in global semantic description of objects

In this paper, we introduce a novel approach for semantic description of object features based on the prototypicality effects of the Prototype Theory. Our prototype-based description model encodes and stores the semantic meaning of an object, while describing its features using the semantic prototype computed by CNN-classifications models. Our method uses semantic prototypes to create discriminative descriptor signatures that describe an object highlighting its most distinctive features within the category. Our experiments show that: i) our descriptor preserves the semantic information used by the CNN-models in classification tasks; ii) our distance metric can be used as the object's typicality score; iii) our descriptor signatures are semantically interpretable and enables the simulation of the prototypical organization of objects within a category.Comment: Paper accepted in IEEE Winter Conference on Applications of Computer Vision 2019 (WACV2019). Content: 10 pages (8 + 2 reference) with 7 figure

Visual-Quality-Driven Learning for Underwater Vision Enhancement

The image processing community has witnessed remarkable advances in enhancing and restoring images. Nevertheless, restoring the visual quality of underwater images remains a great challenge. End-to-end frameworks might fail to enhance the visual quality of underwater images since in several scenarios it is not feasible to provide the ground truth of the scene radiance. In this work, we propose a CNN-based approach that does not require ground truth data since it uses a set of image quality metrics to guide the restoration learning process. The experiments showed that our method improved the visual quality of underwater images preserving their edges and also performed well considering the UCIQE metric.Comment: Accepted for publication and presented in 2018 IEEE International Conference on Image Processing (ICIP

Fast-Forward Video Based on Semantic Extraction

Thanks to the low operational cost and large storage capacity of smartphones and wearable devices, people are recording many hours of daily activities, sport actions and home videos. These videos, also known as egocentric videos, are generally long-running streams with unedited content, which make them boring and visually unpalatable, bringing up the challenge to make egocentric videos more appealing. In this work we propose a novel methodology to compose the new fast-forward video by selecting frames based on semantic information extracted from images. The experiments show that our approach outperforms the state-of-the-art as far as semantic information is concerned and that it is also able to produce videos that are more pleasant to be watched.Comment: Accepted for publication and presented in 2016 IEEE International Conference on Image Processing (ICIP

Um descritor robusto e eficiente de pontos de interesse: desenvolvimento e aplicações

Exportado OPUSMade available in DSpace on 2019-08-14T17:29:57Z (GMT). No. of bitstreams: 1 ericksonrangel.pdf: 9641077 bytes, checksum: 58ca8941db1f519ded8d0f6b36564c93 (MD5) Previous issue date: 21Diferentes metodologias para reconhecimento de objetos, reconstrução e alinhamento tridimensional, possuem no cerne de seu desenvolvimento o problema de correspondência. Devido à ambiguidade em nosso mundo e à presença de ruídos nos processos de aquisições de dados, obter correspondências de qualidade é umdos maiores desafios em Robótica e Visão Computacional. Dessa maneira, a criação de descritores que identifiquem os elementos a serem correspondidos e que sejam capazes de gerar pares correspondentes corretamente é de grande importância. Nesta tese, introduzimos três novos descritores que combinam de maneira eficiente aparência e informação geométrica de images RGB-D. Os descritores apresentados neste trabalho são largamente invariantes a rotação, mudanças de iluminação e escala. Além disso, para aplicações cujo principal requisito é o baixo consumo computacional em detrimento de alta precisão na correspondência, a invariância a rotação e escala podem ser facilmente desabilitadas sem grande perda na qualidadede discriminância dos descritores. Os resultados dos experimentos realizados nesta tese demonstram que nossos descritores, quando comparados a três descritores padrões da literatura, SIFT, SURF(para images com texturas) e Spin-Images (para dados geométricos) e ao estado da arte CSHOT, foram mais robustos e precisos. Foram também realizados experimentos com os descritores em duas aplicações distintas. Nós os utilizamos para a detecção e reconhecimento de objetos sob diferentes condições de iluminação para a construção de mapas com informações semânticas e para o registro de múltiplos mapas com profundidade e textura. Em ambas as aplicações, nossos descritores demonstraram-se mais adequados do que outras abordagens, tendo sido superiores em tempo de processamento, consumo de memória, taxa de reconhecimento e qualidade do registro.At the core of a myriad of tasks such as object recognition, tridimensional recon-struction and alignment resides the critical problem of correspondence. Due to the ambiguity in our world and the presence of noise in the data aquisition process, per-forming high quality correspondence is one of themost challenging tasks in roboticsand computer vision. Hence, devising descriptors, which identify the entities to be matched and that are able to correctly and reliably establish pairs of corresponding points is of central importance. In this thesis, we introduce three novel descriptors that efficiently combine appearance and geometrical shape information from RGB-D images, and are largelyinvariant to rotation, illumination changes and scale transformations. For applica-tions that demand speed performance in lieu of a sophisticated and more precise matching process, scale and rotation invariance may be easily disabled. Results of several experiments described here demonstrate that as far as precision and robust-ness are concerned, our descriptors compare favorably to three standard descrip-tors in the literature, namely: SIFT, SURF (for textured images) and Spin-Images(for geometrical shape information). In addition, they outperfom the state-of-the-art CSHOT, which, as well as our descriptors, combines texture and geometry. We use these new descriptors to detect and recognize objects under different illumination conditions to provide semantic information in a mapping task. Fur-thermore, we apply our descriptors for registering multiple indoor textured depth maps, and demonstrate that they are robust and provide reliable results even forsparsely textured and poorly illuminated scenes. In these two pplications we com-pare the performance of our descriptors against the standard ones in the literature and the state-of-the-art. Experimental results show that our descriptors are supe-rior to the others in processing time, memory consumption, recognition rate and alignment quality

Estimação automática de parâmetros de modelos para restauração de imagens de cenas subaquáticas

Exportado OPUSMade available in DSpace on 2019-08-14T02:41:53Z (GMT). No. of bitstreams: 1 ericksonrangelnascimento.pdf: 6481886 bytes, checksum: c6155fefcfc7fc68bee1c479cea366c6 (MD5) Previous issue date: 10Diversas técnicas para extrair e entender as informações contidas em imagens vêm sendo desenvolvidas através dos anos. Contudo, em geral, essas técnicas baseiam-se na premissa que os objetos e o observador estão imersos em um meio transparente como o ar, ou seja, um meio que não modifique a propagação luz. Não obstante, existem vários cenários em que o meio não é transparente, como os ambientes subaquáticos.Esta dissertação apresenta um estudo sistemático do problema de visualização de ambientes subaquáticos com iluminação natural e propõe uma metodologia para tratar esse problema. Adegradação na visibilidade de imagens subaquáticas é causada principalmente pelos efeitos de Atenuação e Dispersão da luz. Descrevemos as atuais soluções que vêm sendo propostas para reduzir esses efeitos e apresentamos uma metodologia com duas novas técnicas para estimação de parâmetros. Os problemas observados na visualização das imagens subaquáticas são causados basicamente pela interação da luz com a água. Dessa forma a metodologia que apresentamos melhora a visibilidade de cenas subaquáticas de forma automática, aliando um modelo físico que explique a propagação da luz na água a técnicas de Visão Computacional. A abordagem desenvolvida baseia-se no uso de um par de câmeras para adquirir imagens da cena, um sistema de visão estéreo denso para estimar sua estrutura tridimensional e duas técnicas para estimar parâmetros do modelo de propagação da luz em ambientes subaquáticos.Por meio de simulações e experimentos com cenas reais avaliamos as limitações e a qualidade na restauração de imagens subaquáticas utilizando a metodologia apresentada. Utilizando métricasqualitativas e quantitativas obtivemos resultados promissores para as técnicas de estimação de parâmetros propostas.A large number of techniques to extract information contained in images have been developed through the years. However, these techniques are based on the premise that objects and observer are immersed in a transparent medium, as the air for example. It is assumed that light rays travel through the mediumwithout any alteration. However, there are scenarios where the medium may change the intensity and the direction of the light rays, as underwater environments.This dissertation presents a study about viewing of underwater environments with natural light problem. The degradation in underwater images visibility is due to mainly by \emph{Attenuation} and \emph{Scattering}. A survey of the last approach to handle the underwater images problem and a novel methodology are presented. The problems observed in underwater images are related to by the interaction of light with water. We present a methodology to enhance the visibility of underwater scenes automatically, combining a physical model and Comptuer Vision algorithms. The approach uses a pair of cameras to acquire images, a stereo system to estimate the three-dimensional structure of the scene and two techniques to estimate the parameters of the model for light propagation in underwater scenes.Simulations and experiments were performed to evaluate the limitations and the qualities of restoring underwater images using the methodology presented. Using qualitative and quantitative metrics we obtained promising results